使用多路径在Oracle Linux 6.5上搭建Oracle RAC 11.2.0.4

详细描述使用多路径搭建两个节点的Oracle RAC集群的方法。

数据库管理员和系统管理员。

在此环境中，使用了3台服务器。服务器的配置如表1所示：

表1 RAC安装硬件环境

此环境使用的软件及其版本如表2所示：

表2 RAC安装软件环境

此环境使用的网络IP如表3所示:

表3 RAC安装网络环境

存储服务器这里使用多种存储，这里使用的是scsi-target-utils来搭建一个简单存储。存储的规划可以参考表4。

表4 RAC安装存储规划

为每台数据库服务器配置最少三个网卡。将操作系统的安装盘放到服务器的光驱里，然后启动服务器，根据环境规划来安装操作系统。 操作系统安装完成，需要配置YUM源。 新建/var/yum目录，存储安装文件

将系统安装盘中的文件复制到/var/yum中 编辑/etc/yum.repos.d/rhel.repo，加入下面的内容

导入yum安装密钥

搭建好YUN源之后，我们就可以用YUM来安装所需要的软件。 关闭selinux 修改/etc/selinux/config文件，将SELINUX设置为disabled

关闭防火墙

参照存储的使用手册，在存储服务器上根据存储的规划，划分出9个盘。使用网线或者是光纤卡，将存储和数据库服务器连接起来。

在安装ORACLE RAC之前，需要对数据库服务器做一些配置。下面的配置需要在两台数据库服务器上面分别进行操作。

安装Oracle RAC需要安装一些额外的软件包，下面列出了必须的RPM包。

通过一下的命令来检测上面列出的包是否安装成功

如果上面的包没有安装，可以用yum来进行安装。

6.2 配置hosts文件 编辑/etc/hosts文件，加入以下内容。

本环境配置DNS来解析SCAN名字。在DNS服务器里加入dhc.com域和10.128.20.0网段的反向解析域即可。

/etc/named.conf

/var/named/dhc.com.zone

/var/named/20.128.10.in-addr.arpa.zone

将数据库服务器的DNS配置成该服务器的地址，在数据库服务器上做测试。

由于现在oracle新版本提供一个script来修改内核参数，这一步现在可以省略。

用root用户执行下面的命令，添加以下用户组

用root用户添加grid和oracle用户

修改grid和oracle用户的密码。

编辑/etc/security/limits.conf，加入以下内容。

编辑/etc/pam.d/login，加入以下内容

6.7 创建挂载点 用root用户执行下面的命令创建挂载点

注意在另外一个节点ORACLE_SID要改为+ASM2。 2. 配置oracle的环境变量 切换到oracle用户，编辑.bash_profile文件，加入以下内容

注意在另外一个节点ORACLE_SID为PROD_2 为了使新的环境变量生效，重启服务器或者执行下面的命令：

编辑/etc/profile，加入以下内容

安装iscsi和多路径包

配置iscsi和多路径自动启动

发现target

挂载存储

注意，这里要按照顺序挂载存储，方便后面配置多路径。 磁盘挂在好之后，使用fdisk -l 可以看到多了几个磁盘，但是重启之后这些磁盘的挂载点会改变，因此需要用多路径软件来固定共享磁盘的挂载点。 要使用多路径，首先要获得磁盘的scsi id。 在存储节点运行 tgt-admin –show可以看到

这里scsi id就是我们需要的，记下每个target的scsi id。 在数据库服务器上生成多路径的配置文件 从文档里拷贝一个配置文件到/etc目录中。

编辑/etc/multipath.conf

启动多路径

查看多路径multipath -ll

如果绑定成功，会在/dev/mapper目录下面看到新生成的磁盘

将第一个节点的 multipathd.conf复制到第二个节点，然后在第二个节点启动多路径 修改共享存储的权限

使用同样的方法更改所有存储的权限。 最终的权限如下面所示：

为了保证重启之后，虚拟磁盘的权限不变，在udev里加入规则文件。

将99-grid-permission.rules文件复制到节点2同样的目录下 这样如果服务器重启之后，共享存储的权限也不会改变。

集群都要求在集群各节点之间保持时间一致。时间同步服务可以采用NTP，从11gR2之后，集群时间同步推荐使用oracle自带的工具CTSS。 下面配置禁用NTP，从而在安装Oracle RAC的时候启用CTSS。 在两个节点停止分别禁用NTP。

禁止NTP自动启动

把ntp的配置文件改名

加载grid的安装介质，执行runInstaller，然后会弹出Grid安装界面

跳过软件更新，如果有MOS账号，可以尝试更新 选择为集群安装和配置Oracle Grid Infrastructure 选择高级安装 选择语言 输入集群和SCAN 的名称 点击添加，添加集群节点 输入节点的公共主机名和虚拟主机名 选择SSH，输入grid用户的密码配置SSH等价性 等价性配置成功，点击确定，然后选择下一步 选择网络接口的类型，eth0选择公共，这里采用HAIP，所以eth1和eth2选择专用 存储类型选择Oracle ASM 更改磁盘搜索路径，输入/dev/mapper/* 创建仲裁磁盘，这里我起的磁盘组名叫QUORUM，磁盘用了QUORUM1、QUORUM2和QUORUM3 冗余有3个级别，每个级别要求的磁盘数如下： 外部>=1 普通>=3 高>=5 输入管理员的密码，一定要记住这个密码。 如果密码比较简单，点击是，忽略这个问题 这里没有配置IPMI，所以选择不使用IPMI 选择对应的用户组，一般默认就可以 选择Oracle base和Oracle home的位置 选择产品清单目录 由于开头并没有配置内核参数，所以这里有很多问题，这时候点击修补并再次检查。 grid安装程序会生产一个脚本来修复这个问题，需要我们用root用户分别在两个节点运行。

如果这里有包没有安装就用YUM进行安装。 并不是所有问题都会被修复。点击全部忽略。 生成的安装概要，前面那个步骤要是有问题，可以在这里进行修改。 开始安装。 脚本要按照顺序执行，先执行完orainstRoot.sh,然后再执行root.sh。 orainstRoot.sh两个节点可以同时执行。root.sh,在主节点执行成功之后，剩下的节点可以同时执行。

在所有节点脚本执行成功之后，回到图形界面点击确定。 grid开始创建网络和ASM。 安装成功，点击关闭。

用grid用户运行asmca，出现ASMCA的界面 点击创建 输入磁盘组的名称，选择磁盘，点击确定开始创建。 磁盘组创建成功。 采用同样的方法创建磁盘组FRA。

运行runInstaller开始安装

不接受安装更新 选择是 跳过软件更新 选择仅安装数据库软件 选择RAC数据库，选择所有节点，然后点击SSH，输入oracle用户密码，开始配置SSH等价性 SSH等价性配置完成。 选择要安装的语言 选择企业版 基目录和软件位置，一般默认。 选择对应的用户组，默认即可 忽略该错误 安装概要，可以保存成响应文件 正在安装 用root用户，分别在两个节点上执行该脚本

脚本执行成功后，返回图形界面点击确定。 安装成功。

在节点1上面运行dbca创建数据库 选择RAC数据库 选择创建数据库 选择定制数据库 选择策略管理的，输入数据库名以及服务器池的名字。 基数代表该服务器池有几台机器，这里是双节点，所以写的是2。 注意： Oracle官方11.2.0.2之前推荐使用管理员管理的，11.2.0.2之后推荐策略管理的。但是经过笔者的使用，个人建议如果没有特殊需求，还是推荐管理员管理。策略管理的无法确定每个节点上到底运行的是哪个实例，所以不好配置静态监听，因此就不好配置DataGuard。 选择是否配置EM 输入管理员密码 如果密码比较简单，会提示这个问题，忽略即可 存储类型选择ASM，数据库区选择+DATA 输入安装grid时候管理员的密码。 指定快速恢复区域 选择数据库组件，这里所有的组件都可以不选。 选择SGA的大小，如果启用自动内存管理，SGA需要大于一个值，点击下一步的时候会提示，内存大小不同，提示的值也不同。 输入进程参数值，请根据也许需求设置。 设置字符集，这里使用的是UTF8字符集。 配置数据存储 选择创建数据库 安装概要，点击确定开始创建数据库。 创建成功，点击退出。 到此，RAC的安装结束。